大数据需要学什么

模块

介绍

Hadoop common

支持其他模块的工具模块

Hadoop Distributed File System (HDFS)

分布式文件系统，提供了对应用程序数据的高吞吐量访问。

 进程：    NameNode                        名称节点                          NN

                 DataNode                          数据节点                          DN

          SecondaryNamenode           辅助名称节点                      2ndNN

Hadoop YARN

作业调度与集群资源管理的框架。

进程

                    ResourceManager  资源管理—RM

NodeManager     节点管理器—NM

Hadoop MapReduce

基于yarn系统的对大数据集进行并行处理技术

下面是hive与Hbase的比较

Hive

Hbase

1、可以理解为一种SQL执行引擎,对SQL的支持最终转换为map/reduce任务

2、不支持更新、删除操作，但可以插入

3、任务不是实时执行，用时一般为数分钟到数小时

4、本身可以不存储数据，只存储关于数据的元数据，偏重于逻辑结构，是一种数据仓库

5、适合于静态大数据量的查询、分析、汇总，不适合联机实时数据处理

6、操作一般以全表数据为基础，但也有分区等概念

1、不支持SQL

2、支持增删改查操作

3、任务实时执行

4、本身存储数据，有复杂的物理存储结构，是一种真正的数据库

5、适合联机实时数据处理

6、操作以列为基础

总结：
hive和hbase都是以Hadoop为基础构建；
Hive是建立在Hadoop之上为了减少MapReduce jobs编写工作的批处理系统，是用SQL替代写MR的编程框架，而HBase是为了支持弥补Hadoop对实时操作的缺陷的项目。
Hive是一种能执行MapReduce作业的类SQL编程接口，而Hbase是一种非关系型的数据库结构。

框架名称

类比

解释

以spark框架为主

Scala

Scala：OOP + FP

Oop(object oriented programming)

sparkCore

类比MapReduce

sparkSQL

类比hive

sparkStreaming

实时数据处理

    kafka

消息队列

前沿框架扩展：flink 

           阿里巴巴 blink